Lange Zeit führte Rethymno, heute die drittgrößte Stadt Kretas, ein eher unbedeutendes Dasein. Das änderte sich jedoch, als die Venezianer, die 1212 die Herrschaft auf Kreta übernahmen, den Ort befestigten und so die Möglichkeit zur Entwicklung urbanen Lebens schufen. Schon im 13. Jh. wurde ein kleines Kastell hinter dem Hafen errichtet. Der 1537 geplante Ausbau der Festung kam durch einen Überfall des osmanischen Großadmirals Barbarossa nicht zustande.
1540 begann man mit dem Bau der Stadtmauer, von 1571 bis 1600 wurde dann an der Stelle der antiken Akropolis die bis heute erhaltene riesige venezianische „Fortezza“ mit ihren vorspringenden Bastionen errichtet. Im Inneren der Festung waren unterirdische Arsenale, Truppenunterkünfte und Verpflegungseinrichtungen sowie eine Kirche untergebracht, die heute zum Teil in Ruinen erhalten sind und besichtigt werden können.
Aus der Zeit der osmanischen Herrschaft (1646 – 1879) stammen weitere Ausbauten sowie der heute bedeutendste Bau der Fortezza, die von einer Kuppel überwölbte Moschee, die nach 1646 errichtet wurde. Venezianisch-gotische Stilelemente zeigen, dass die osmanischen Baumeister die venezianische Architektur kannten und schätzten. Vom Minarett steht jedoch nur noch der Sockel. Andere Bauten, wie etwa das ehemalige Gefängnis, wurden restauriert und teilweise wieder aufgebaut. Sehr eindrucksvoll ist der weite Ausblick von der Fortezza aus über Rethymno, das ferne Ida-Gebirge und die Lefka Ori, die berühmten „Weißen Berge“.
